基于模型的增强学习（RL）通过学习动态模型来生成用于策略学习的样本，在实践中实现了实践中的样本效率更高。先前的作品学习了一个“全球”动力学模型，以适合所有历史政策的国家行动探视分布。但是，在本文中，我们发现学习全球动力学模型并不一定会受益于当前策略的模型预测，因为使用的策略正在不断发展。培训期间不断发展的政策将导致州行动探访分配变化。我们理论上分析了历史政策的分布如何影响模型学习和模型推出。然后，我们提出了一种基于模型的新型RL方法，名为\ textit {策略适应模型基于contor-Critic（PMAC）}，该方法基于策略适应机制学习了一个基于策略适应的动力学模型。该机制会动态调整历史政策混合分布，以确保学习模型可以不断适应不断发展的政策的国家行动探视分布。在Mujoco中的一系列连续控制环境上进行的实验表明，PMAC可以实现最新的渐近性能，而样品效率几乎是基于模型的方法的两倍。